©PaperWeekly 原创 · 作者 | 郑镇鑫对任意概率分布的随机变量 ，都可按照如下的变换，逐渐把概率分布转变成标准的概率分布。上述的变换分为两个部分，第一部分是对随机变量 执行一个线性变换（），线性变换使 的概率分布"变窄变高"，具体可参考图 [1] 的例子，左图为一维随机变量的概率分布，右图是经过线性变换后的概率分布。可以看出，相对于左图，右图的曲线“变窄变高”了；第二部分是“加上随机噪声”（），“加上随机噪声”相当于对已有的概率分布执行“高斯模糊”，具体可参考图 [2]，可以看出，相对于左图，右图的棱角变光滑了。关于此结论的进一步解释可参考文献 [1]。
▲ 图1 linear transform
▲ 图2 add noise
连续应用上述的变换，最终输出的概率分布将变得越来越接近于标准高斯分布。可参考图 [3] 的例子，最左侧子图是一维随机变量的概率分布，逐步加了五次噪声，最终的概率分布如最右侧子图所示，与标准高斯分布（绿色曲线）非常相似。
▲ 图3 gradually add noises如果知道了概率分布 及后验概率分布 ，则可通过全概率公式和贝叶斯公式计算得到 ，如公式 7。另外，如上所述，当添加了足够多的噪声后， 的概率分布接近于标准高斯分布，所以 是已知的。所以，如果知道了各个后验概率分布 ，则可从末端反向计算各个随机变量的概率分布，包括初始变量的 的概率分布，如式 6 至式 9。同时，也可通过祖先采样（Ancestor Sampling）的方法，从末端反向采样得到联合概率 的样本；舍弃 ，从而进一步得到 的样本。参数化一个新的概率分布函数 ，依赖于 ，比如条件高斯概率分布，然后通过优化交叉熵损失（cross entropy loss），估计 函数的参数，使 接近于 。由于后验概率是条件概率分布，所以需综合考虑各个条件，并以各个条件发生的概率进行加权平均。所以，最终的损失函数形式如下对上式应用蒙特卡罗（Monte Carlo）积分近似，可得
样本 可通过式 2 至式 5 的变换方式采样得到。上述形式也是一种优化方式。对上述损失函数的形式进行转化，可得到 DPM 优化目标中一致项（Consistent Term）。
上式中的 项是一个固定值，不包含待优化的参数。其中， 是固定的概率分布，不知其具体的形式，但知道服从此概率分布的一批样本； 也是固定概率分布，具体形式由 及系数 确定。于是，得到了 DPM 优化目标中的一致项（Consistent Term）。
对于重构项（Reconstruction Term），可通过类似的方式得到上式即是 DPM 目标函数中的重构项（Reconstruction Term）。
[1] The Art of DPM：https://github.com/blairstar/The_Art_of_DPM
#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧